
# импортируем все необходимые библиотеки
import pandas as pd
import datetime as dt
from datetime import datetime, timedelta
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import plotly.express as px
from plotly import graph_objects as go
from pandas.plotting import register_matplotlib_converters
import scipy.stats as st
import math as mth
import warnings
import warnings
warnings.filterwarnings("ignore")


#загружаем даннык из файла ab_project_marketing_events
ab_project_marketing_events = pd.read_csv('/datasets/ab_project_marketing_events.csv')
display(ab_project_marketing_events.head(20)) #выводим таблицу
ab_project_marketing_events.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 14 entries, 0 to 13
Data columns (total 4 columns):
 #   Column     Non-Null Count  Dtype 
---  ------     --------------  ----- 
 0   name       14 non-null     object
 1   regions    14 non-null     object
 2   start_dt   14 non-null     object
 3   finish_dt  14 non-null     object
dtypes: object(4)
memory usage: 576.0+ bytes


#загружаем даннык из файла final_ab_new_users
final_ab_new_users = pd.read_csv('/datasets/final_ab_new_users.csv')
final_ab_new_users['first_dt'] = pd.to_datetime(final_ab_new_users['first_date'])
final_ab_new_users['first_date'] = pd.to_datetime(final_ab_new_users['first_date']).dt.date
display(final_ab_new_users.head())
display(final_ab_new_users.info())

display(final_ab_new_users['first_dt'].describe())
display('количество дубликатов', final_ab_new_users.duplicated().sum())

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 61733 entries, 0 to 61732
Data columns (total 5 columns):
 #   Column      Non-Null Count  Dtype         
---  ------      --------------  -----         
 0   user_id     61733 non-null  object        
 1   first_date  61733 non-null  object        
 2   region      61733 non-null  object        
 3   device      61733 non-null  object        
 4   first_dt    61733 non-null  datetime64[ns]
dtypes: datetime64[ns](1), object(4)
memory usage: 2.4+ MB

None

count                   61733
unique                     17
top       2020-12-21 00:00:00
freq                     6290
first     2020-12-07 00:00:00
last      2020-12-23 00:00:00
Name: first_dt, dtype: object

'количество дубликатов'

0


#загружаем даннык из файла final_ab_events
final_ab_events = pd.read_csv('/datasets/final_ab_events.csv')
display(len(final_ab_events['event_dt'].unique()))
final_ab_events['event_dt'] = pd.to_datetime(final_ab_events['event_dt'])
final_ab_events['event_date'] = pd.to_datetime(final_ab_events['event_dt']).dt.date
display(final_ab_events.head(10)) #выводим таблицу
display(final_ab_events.info())
display('количество дубликатов', final_ab_events.duplicated().sum())
final_ab_events = final_ab_events.fillna(0)

267268

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 440317 entries, 0 to 440316
Data columns (total 5 columns):
 #   Column      Non-Null Count   Dtype         
---  ------      --------------   -----         
 0   user_id     440317 non-null  object        
 1   event_dt    440317 non-null  datetime64[ns]
 2   event_name  440317 non-null  object        
 3   details     62740 non-null   float64       
 4   event_date  440317 non-null  object        
dtypes: datetime64[ns](1), float64(1), object(3)
memory usage: 16.8+ MB

None

'количество дубликатов'

0


#загружаем даннык из файла final_ab_participants
final_ab_participants = pd.read_csv('/datasets/final_ab_participants.csv')
display(final_ab_participants.head(10)) #выводим таблицу
display(final_ab_participants.info())
display('количество дубликатов', final_ab_participants.duplicated().sum())

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 18268 entries, 0 to 18267
Data columns (total 3 columns):
 #   Column   Non-Null Count  Dtype 
---  ------   --------------  ----- 
 0   user_id  18268 non-null  object
 1   group    18268 non-null  object
 2   ab_test  18268 non-null  object
dtypes: object(3)
memory usage: 428.3+ KB

None

'количество дубликатов'

0


final_ab_participants['ab_test'].unique()

array(['recommender_system_test', 'interface_eu_test'], dtype=object)


# Для исследования данных соединим таблицы: final_ab_new_users, final_ab_events и final_ab_participants по идентификатору пользователя
data = final_ab_new_users.merge(final_ab_events, how='left', on='user_id')
data = data.merge(final_ab_participants, how='left', on='user_id')
data = data[['user_id', 'first_date', 'first_dt', 'region', 'event_dt', 'event_date', 'event_name', 'device', 'details', 'group', 'ab_test']]
data.head()# мы получили итоговую таблицу данных


# выделяем пользователей из региона EU
data_eu = data.query('region == "EU"')
display(data_eu.isna().sum())# у нас появились пропуски

data_eu.duplicated().sum()
# созаем таблицу ользователей из Европы, зарегистрировавшихся с 7 по 21 декабря 2020 года
data_eu_new = data_eu.query('"2020-12-22" > first_dt > "2020-12-06"')
# считаем сколько всего уникальных пользователей в этой таблице
total_users_eu_new = data_eu_new['user_id'].nunique()
print('количество уникальных новых пользователей в Европе всего: ', total_users_eu_new)
# создаем таблицу пользователей Европы зарегистрировавшихся в это время на тест recommender_system_test (rst)
data_eu_new_rst = data_eu_new.query('ab_test == "recommender_system_test"')
# считаем сколько уникальных пользователей в этой таблице (rst)
total_users_eu_new_rst = data_eu_new_rst['user_id'].nunique()
print('количество уникальных новых пользователей в Европе в тесте recommender_system_test: ', total_users_eu_new_rst)
# доля пользователей в европе с 7 по 21 декабря 2021 года rst к общему числу
share_new_eu_rst = 100*total_users_eu_new_rst/total_users_eu_new
print('доля уникальных новых пользователей в Европе в тесте recommender_system_test от всего количества в даты регистрации: ', round(share_new_eu_rst, 2), ' %')

data_eu_new.head()

user_id            0
first_date         0
first_dt           0
region             0
event_dt        3589
event_date      3589
event_name      3589
device             0
details         3589
group         227644
ab_test       227644
dtype: int64

количество уникальных новых пользователей в Европе всего:  42340
количество уникальных новых пользователей в Европе в тесте recommender_system_test:  6351
доля уникальных новых пользователей в Европе в тесте recommender_system_test от всего количества в даты регистрации:  15.0  %


# Добавляем столбец в таблицу final_ab_data_eu_new_rst
data_eu_new_rst['14_date'] = data_eu_new_rst['first_dt']+timedelta(days=14)

# проверим, сколько пользователей попало в период больше чем 14 дней в recommender_system_test
delet = data_eu_new_rst[data_eu_new_rst['event_dt'] >= data_eu_new_rst['14_date'].dt.date]
display(delet.info())

<class 'pandas.core.frame.DataFrame'>
Int64Index: 800 entries, 156 to 416868
Data columns (total 12 columns):
 #   Column      Non-Null Count  Dtype         
---  ------      --------------  -----         
 0   user_id     800 non-null    object        
 1   first_date  800 non-null    object        
 2   first_dt    800 non-null    datetime64[ns]
 3   region      800 non-null    object        
 4   event_dt    800 non-null    datetime64[ns]
 5   event_date  800 non-null    object        
 6   event_name  800 non-null    object        
 7   device      800 non-null    object        
 8   details     800 non-null    float64       
 9   group       800 non-null    object        
 10  ab_test     800 non-null    object        
 11  14_date     800 non-null    datetime64[ns]
dtypes: datetime64[ns](3), float64(1), object(8)
memory usage: 81.2+ KB

None


# создаем таблицу в которой останутся события только 14-ти дней от момента регистрации
data_eu_rst_14 = data_eu_new_rst[data_eu_new_rst['event_dt'] < data_eu_new_rst['14_date'].dt.date]
# таблица с событиями только 14 дней от регистрации пропуски
display('пропуски', data_eu_rst_14.isna().sum())
# таблица с событиями только 14 дней от регистрации удаляем пропуски
data_eu_rst_14_drop = data_eu_rst_14.dropna()
display(data_eu_rst_14_drop['ab_test'].unique())# тут остался только rst тест
# оставляем нужные столбцы
data_eu_rst_14_drop_rename = data_eu_rst_14_drop[[
    'user_id', 'first_dt', 'region', 'event_dt', 'event_date', 'event_name', 'group', 'ab_test', '14_date', 'device']]
# переименовываем таблицу в понятное название
result_rst = data_eu_rst_14_drop_rename

'пропуски'

user_id       0
first_date    0
first_dt      0
region        0
event_dt      0
event_date    0
event_name    0
device        0
details       0
group         0
ab_test       0
14_date       0
dtype: int64

array(['recommender_system_test'], dtype=object)


# Добавляем столбец в таблицу data_eu_new
data_eu_new['14_date'] = data_eu_new['first_dt']+timedelta(days=14)
display(data_eu_new.head())
display(data_eu_new.info())
# создаем таблицу в которой останутся события только 14-ти дней от момента регистрации
data_eu_14 = data_eu_new[data_eu_new['event_dt'] < data_eu_new['14_date'].dt.date]
# таблица с событиями только 14 дней от регистрации пропуски
data_eu_14.isna().sum()
# таблица с событиями только 14 дней от регистрации удаляем пропуски
data_eu_14_drop = data_eu_14.dropna()
display(data_eu_14_drop['ab_test'].unique())# тут оба теста
# оставляем нужные столбцы
data_eu_14_drop_rename = data_eu_14_drop[['user_id', 'first_dt', 'device', 'region', 'event_dt', 'event_date', 'event_name', 'group', 'ab_test', '14_date']]
# переименовываем таблицу в понятное название
result = data_eu_14_drop_rename
result.head()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 312136 entries, 0 to 449955
Data columns (total 12 columns):
 #   Column      Non-Null Count   Dtype         
---  ------      --------------   -----         
 0   user_id     312136 non-null  object        
 1   first_date  312136 non-null  object        
 2   first_dt    312136 non-null  datetime64[ns]
 3   region      312136 non-null  object        
 4   event_dt    308547 non-null  datetime64[ns]
 5   event_date  308547 non-null  object        
 6   event_name  308547 non-null  object        
 7   device      312136 non-null  object        
 8   details     308547 non-null  float64       
 9   group       102817 non-null  object        
 10  ab_test     102817 non-null  object        
 11  14_date     312136 non-null  datetime64[ns]
dtypes: datetime64[ns](3), float64(1), object(8)
memory usage: 31.0+ MB

None

array(['recommender_system_test', 'interface_eu_test'], dtype=object)


# посмотрим первую и последнюю даты теста interface_eu_test
max_dt_eut = result[result['ab_test']=='interface_eu_test']['event_dt'].max()
min_dt_eut = result[result['ab_test']=='interface_eu_test']['event_dt'].min()
print('первая дата события interface_eu_test ', min_dt_eut)
print('первая дата события interface_eu_test ', max_dt_eut)

первая дата события interface_eu_test  2020-12-07 00:02:48
первая дата события interface_eu_test  2020-12-29 23:54:58


print('первая дата события в recommender_system_test ', result_rst['event_dt'].min())
print('последняя дата события в recommender_system_test ', result_rst['event_dt'].max())

первая дата события в recommender_system_test  2020-12-07 00:05:57
последняя дата события в recommender_system_test  2020-12-29 23:38:29


final_ab_events_max = final_ab_events['event_date'].max()
final_ab_events_max
final_ab_events_min = final_ab_events['event_date'].min()
print('первая дата всех событий', final_ab_events_min)
print('последняя дата всех событий', final_ab_events_max)

первая дата всех событий 2020-12-07
последняя дата всех событий 2020-12-30


df = ab_project_marketing_events[((ab_project_marketing_events['start_dt'] >= '2020-12-07') &
                                  (ab_project_marketing_events['start_dt'] <= '2021-12-30')) |
                                 ((ab_project_marketing_events['finish_dt'] >= '2020-12-07') &
                                  (ab_project_marketing_events['finish_dt'] <= '2021-12-30'))
                                ]
display(df)


# проверим есть пересечения 2- тестов interface_eu_test и recommender_system_test
#проверка -один и тот же пользователей в обеих группах
data_eu_eut = result[result['ab_test']=='interface_eu_test']

eut_list = list(data_eu_eut['user_id'].unique())
dubble_test_users_eu = result_rst[result_rst['user_id'].isin(eut_list)]['user_id'].nunique()

data_dub = result.pivot_table(
    index='user_id', columns='ab_test',  values='region', aggfunc='count'
)
print('количество пользователей присутствующих в обеих тестах:', 
      len(data_dub[(data_dub['interface_eu_test'] > 0) 
                                   & (data_dub['recommender_system_test'] > 0)])
)

количество пользователей присутствующих в обеих тестах: 887


# Количество и доля пользователей, участвующих в двух тестах в группе А
dubles_test_A = result.query('group == "A"')
dubles_test_A = dubles_test_A.groupby(['ab_test']).agg({'user_id':'nunique'}).reset_index()
dubles_test_A.columns = ['ab_test', 'count_unique']
# считаем долю пользователей по которым есть пересечение в двух тестах в группе А
dubles_test_A['share_%'] = round(887/dubles_test_A ['count_unique']*100,2)
dubles_test_A


# Количество и доля пользователей, участвующих в двух тестах в группе В
dubles_test_B = result.query('group == "B"')
dubles_test_B = dubles_test_B.groupby(['ab_test']).agg({'user_id':'nunique'}).reset_index()
dubles_test_B.columns = ['ab_test', 'count_unique']
# считаем долю пользователей по которым есть пересечение в двух тестах в группе В
dubles_test_B['share_%'] = round(877/dubles_test_B ['count_unique']*100,2)
dubles_test_B


#final_ab_data_eu_rst
# проверим есть ли пересечения в 2-х группх теста
dubble_rst_ab = result_rst.pivot_table(index='user_id', columns='group',  values='ab_test', aggfunc='count')
print(dubble_rst_ab.info())
print('Количество пользователей присутствующих в обеих группах:', len(dubble_rst_ab[(dubble_rst_ab['A'] > 0) & (dubble_rst_ab['B'] > 0)])
)

<class 'pandas.core.frame.DataFrame'>
Index: 3481 entries, 001064FEAAB631A1 to FFF28D02B1EACBE1
Data columns (total 2 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   A       2604 non-null   float64
 1   B       877 non-null    float64
dtypes: float64(2)
memory usage: 81.6+ KB
None
Количество пользователей присутствующих в обеих группах: 0


# итоговая таблица теста recommender_system_test в Европе без пропусков 
#с зарегистрированными пользователями с 7 по 21 декабря с событиями не менее чем 2 недели
result_rst


result_rst['region'].unique()
result_rst['ab_test'].unique()
result_rst['event_date'].min()
result_rst.isna().sum()
result_rst.info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 22620 entries, 0 to 449816
Data columns (total 10 columns):
 #   Column      Non-Null Count  Dtype         
---  ------      --------------  -----         
 0   user_id     22620 non-null  object        
 1   first_dt    22620 non-null  datetime64[ns]
 2   region      22620 non-null  object        
 3   event_dt    22620 non-null  datetime64[ns]
 4   event_date  22620 non-null  object        
 5   event_name  22620 non-null  object        
 6   group       22620 non-null  object        
 7   ab_test     22620 non-null  object        
 8   14_date     22620 non-null  datetime64[ns]
 9   device      22620 non-null  object        
dtypes: datetime64[ns](3), object(7)
memory usage: 1.9+ MB


#отбираем пользователей только нашего теста из всех тестируемых - фильтруем по наименованию теста
users_test_rst = data[data['ab_test'] == 'recommender_system_test']#.groupby('user_id')
count_eu_users = users_test_rst['user_id'].nunique()
print('количество уникальных пользователей в Европе зарегистрировавшихся в recommender_system_test')
print('всего', count_eu_users)
print('после применения условий ТЗ ', total_users_eu_new_rst)
print('Тосле удаления неактивных пользователей ', result_rst['user_id'].nunique())

количество уникальных пользователей в Европе зарегистрировавшихся в recommender_system_test
всего 6701
после применения условий ТЗ  6351
Тосле удаления неактивных пользователей  3481


result_rst


users_device = result_rst.groupby('device').agg({'user_id': 'nunique'}).sort_values(by='user_id',ascending=False)
users_device


rst_group = result_rst.groupby('group').agg({'user_id': 'nunique'})

plt.figure(figsize=(8, 5))
plt.pie(data=rst_group, x='user_id', labels=rst_group.index, autopct='%.1f')
plt.title('Соотношение пользователей в тесте recommender_system_test по группам')
plt.show()


#всего пользователей, без привязки по группам
users_device = result_rst.groupby('device').agg({'user_id': 'nunique'}).sort_values(by='user_id',ascending=False)
users_device = users_device.rename(columns={'user_id':'count'})
users_device['percent'] = users_device['count'] / users_device['count'].sum()*100
display(users_device)

plt.figure(figsize=(7, 4)) 
barplot_object = sns.barplot(x=users_device.index, y='percent', data=users_device) 
barplot_object.set_title('Количество пользователей по девайсам', fontsize=18)
barplot_object.set_xlabel('девайс', fontsize=14)
barplot_object.set_ylabel('%', fontsize=14)
plt.show()


#всего пользователей, без привязки по группам
users_device = result_rst.groupby('device').agg({'user_id': 'nunique'}).sort_values(by='user_id',ascending=False)
users_device = users_device.rename(columns={'user_id':'count'})
users_device['percent'] = round(users_device['count'] / users_device['count'].sum()*100, 0)
display(users_device)

plt.figure(figsize=(7, 4)) 
barplot_object = sns.barplot(x=users_device.index, y='percent', data=users_device) 
barplot_object.set_title('Количество пользователей по девайсам', fontsize=18)
barplot_object.set_xlabel('девайс', fontsize=14)
barplot_object.set_ylabel('%', fontsize=14)
plt.show()

#группа А
users_deviceA = result_rst[result_rst['group']=='A'].groupby('device').agg({'user_id': 'nunique'}).sort_values(by='user_id',ascending=False)
users_deviceA = users_deviceA.rename(columns={'user_id':'count'})
users_deviceA['percent'] = round(users_deviceA['count'] / users_deviceA['count'].sum()*100, 0)
display(users_deviceA)

plt.figure(figsize=(7, 4)) 
barplot_object = sns.barplot(x=users_deviceA.index, y='percent', data=users_deviceA) 
barplot_object.set_title('Количество пользователей группы А по девайсам', fontsize=18)
barplot_object.set_xlabel('девайс', fontsize=14)
barplot_object.set_ylabel('%', fontsize=14)
plt.show()

#группа B
users_deviceB = result_rst[result_rst['group']=='B'].groupby('device').agg({'user_id': 'nunique'}).sort_values(by='user_id',ascending=False)
users_deviceB = users_deviceB.rename(columns={'user_id':'count'})
users_deviceB['percent'] = round(users_deviceB['count'] / users_deviceB['count'].sum()*100, 0)
display(users_deviceB)

plt.figure(figsize=(7, 4)) 
barplot_object = sns.barplot(x=users_deviceB.index, y='percent', data=users_deviceB) 
barplot_object.set_title('Количество пользователей группы B по девайсам', fontsize=18)
barplot_object.set_xlabel('девайс', fontsize=14)
barplot_object.set_ylabel('%', fontsize=14)
plt.show()

print('Количество пользователей в группе А:', users_deviceA['count'].sum())
print('Количество пользователей в группе B:', users_deviceB['count'].sum())

Количество пользователей в группе А: 2604
Количество пользователей в группе B: 877


users_device_1 = users_device.merge(users_deviceA, on = 'device', how='left')
users_device_2 = users_device_1.merge(users_deviceB, on = 'device', how='left')
#группа А

#группа B
users_device_2.columns = ['count', 'percent', 'count_A', 'percent_A', 'count_B', 'percent_B']
users_device_2 = users_device_2[['percent', 'percent_A', 'percent_B']]

fig = px.line(users_device_2, x=users_device_2.index, y=['percent', 'percent_A', 'percent_B'], \
              title='Сводная: процент пользователей девайсов всего и с разбивкой по группам в %%')
fig.show() 
users_device_2


print('Данные по событиям представлены за период с ', str(result_rst['event_dt'].min()), 
      ' по ', str(result_rst['event_dt'].max()))
print('Общее количество событий:', len(result_rst))
print('Количество событий в группе А:', len(result_rst[result_rst['group'] == 'A']))
print('Количество событий в группе B:', len(result_rst[result_rst['group'] == 'B']))


result_rst.groupby('user_id').agg({'event_dt': 'count'}).hist(bins=100) 
plt.title('Распределение количества событий на пользователя без учета групповой принадлежности')

print('Количество событий на одного пользователя в группе А:', 
      round(len(result_rst[result_rst['group'] == 'A']) / users_deviceA['count'].sum(),0))
print('Количество событий на одного пользователя в группе B:', 
      round(len(result_rst[result_rst['group'] == 'B']) / users_deviceB['count'].sum(),0))

Данные по событиям представлены за период с  2020-12-07 00:05:57  по  2020-12-29 23:38:29
Общее количество событий: 22620
Количество событий в группе А: 17835
Количество событий в группе B: 4785
Количество событий на одного пользователя в группе А: 7.0
Количество событий на одного пользователя в группе B: 5.0


# мы используем очищенные данные о событиях, поэтому пассивные пользователи не учитываются
result_rst[result_rst['group'] == 'A'].groupby('user_id').agg({'event_dt': 'count'}).hist(bins=50) 
plt.title('Распределение количества событий на пользователя в группе A')
result_rst[result_rst['group'] == 'B'].groupby('user_id').agg({'event_dt': 'count'}).hist(bins=50) 
plt.title('Распределение количества событий на пользователя в группе B')

print('Количество событий на одного пользователя в группе А:', round(len(result_rst[result_rst['group'] == 'A']) / users_deviceA['count'].sum(),0))
print('Количество событий на одного пользователя в группе B:', round(len(result_rst[result_rst['group'] == 'B']) / users_deviceB['count'].sum(),0))

Количество событий на одного пользователя в группе А: 7.0
Количество событий на одного пользователя в группе B: 5.0


# совместим 2 гистограммы на одном графике и уменьшим количество корзин до 15
ab = result_rst.groupby(['user_id', 'group']).agg({'event_dt': 'count'}).reset_index()
ab
#create histogram for each team
ab.hist (column='event_dt', by='group', bins= 15 , grid= True , rwidth= .9 ,
 color='purple', sharex= True )

print('Распределение по группам с количеством корзин - 15')

Распределение по группам с количеством корзин - 15


fig = px.histogram(result_rst, 
                   x='event_date',# hue='group',
                   title='Всего событий по дням')
fig.show()


result_dt = result_rst.pivot_table(index=['event_date', 'group'],  values='user_id',aggfunc='count')

result_dt.columns = ['count']
result_dt = result_dt.reset_index()

result_dt.info()
plt.figure(figsize=(18, 12)) 
sns.barplot(x='count', y=result_dt['event_date'], hue=result_dt['group'], data=result_dt) 
plt.title('Распределение количества событий по дням', fontsize=18)
plt.xlabel('Количество событий')
plt.ylabel(None)

# выбираем положение легенды и указываем размер шрифта
plt.legend(loc='lower right', fontsize=15)
# добавляем сетку
plt.grid()
plt.show()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 46 entries, 0 to 45
Data columns (total 3 columns):
 #   Column      Non-Null Count  Dtype 
---  ------      --------------  ----- 
 0   event_date  46 non-null     object
 1   group       46 non-null     object
 2   count       46 non-null     int64 
dtypes: int64(1), object(2)
memory usage: 1.2+ KB


simple_product_funnel = result_rst.groupby('event_name').agg({'user_id': 'nunique'})
simple_product_funnel = simple_product_funnel.sort_values(by='user_id', ascending=False)
display(simple_product_funnel)

fig = go.Figure(
    go.Funnel(
        y=simple_product_funnel.index,
        x=simple_product_funnel['user_id'],
    )
)
fig.update_layout(title='Простая продуктовая воронка всех событий', title_x = 0.5)
fig.show()


result_rst_a = result_rst[result_rst['group'] == 'A']
simple_product_funnel = result_rst_a.groupby('event_name').agg({'user_id': 'nunique'})

simple_product_funnel = simple_product_funnel.sort_values(by='user_id', ascending=False)
display(simple_product_funnel)

fig = go.Figure(
    go.Funnel(
        y=simple_product_funnel.index,
        x=simple_product_funnel['user_id'],
    )
)
fig.update_layout(title='Простая продуктовая воронка событий в группе А', title_x = 0.5)
fig.show()


result_rst_b = result_rst[result_rst['group'] == 'B']
simple_product_funnel = result_rst_b.groupby('event_name').agg({'user_id': 'nunique'})

simple_product_funnel = simple_product_funnel.sort_values(by='user_id', ascending=False)
display(simple_product_funnel)

fig = go.Figure(
    go.Funnel(
        y=simple_product_funnel.index,
        x=simple_product_funnel['user_id'],
    )
)
fig.update_layout(title='Простая продуктовая воронка событий в группе В', title_x = 0.5)
fig.show()


product_funnel = result_rst.pivot_table(
    index='user_id', columns='event_name', values='event_dt', aggfunc='min'
) 
step_1 = ~product_funnel['login'].isna()
step_2 = step_1 & (product_funnel['product_page'] > product_funnel['login'])
step_3 = step_2 & (product_funnel['product_cart'] > product_funnel['product_page'])
step_4 = step_3 & (product_funnel['purchase'] > product_funnel['product_cart'])

n_login = product_funnel[step_1].shape[0]
n_product_page = product_funnel[step_2].shape[0]
n_product_cart = product_funnel[step_3].shape[0]
n_purchase = product_funnel[step_4].shape[0]
print('\033[1mПродуктовая воронка с учётом последовательности событий:\033[0m')
print('Авторизовались:', n_login)
print('Просмотрели карточку товара:', n_product_page)
print('Открыли корзину:', n_product_cart)
print('Оплатили:', n_purchase)

fig = go.Figure(
    go.Funnel(
        y=[
            'Авторизовались',
            'Просмотрели карточку товара',
            'Открыли корзину',
            'Оплатили',
        ],
        x=[n_login, n_product_page, n_product_cart, n_purchase],
    )
)
fig.update_layout(title='Продуктовая воронка с учётом последовательности событий', title_x = 0.5)
fig.show()

Продуктовая воронка с учётом последовательности событий:
Авторизовались: 3480
Просмотрели карточку товара: 1223
Открыли корзину: 72
Оплатили: 1


result_rst_a = result_rst[result_rst['group'] == 'A']
product_funnel = result_rst_a.pivot_table(
    index='user_id', columns='event_name', values='event_dt', aggfunc='min'
) 
step_1 = ~product_funnel['login'].isna()
step_2 = step_1 & (product_funnel['product_page'] > product_funnel['login'])
step_3 = step_2 & (product_funnel['product_cart'] > product_funnel['product_page'])
step_4 = step_3 & (product_funnel['purchase'] > product_funnel['product_cart'])

n_login = product_funnel[step_1].shape[0]
n_product_page = product_funnel[step_2].shape[0]
n_product_cart = product_funnel[step_3].shape[0]
n_purchase = product_funnel[step_4].shape[0]
print('\033[1mПродуктовая воронка с учётом последовательности событий:\033[0m')
print('Авторизовались:', n_login)
print('Просмотрели карточку товара:', n_product_page)
print('Открыли корзину:', n_product_cart)
print('Оплатили:', n_purchase)

fig = go.Figure(
    go.Funnel(
        y=[
            'Авторизовались',
            'Просмотрели карточку товара',
            'Открыли корзину',
            'Оплатили',
        ],
        x=[n_login, n_product_page, n_product_cart, n_purchase],
    )
)
fig.update_layout(title='Продуктовая воронка с учётом последовательности событий', title_x = 0.5)
fig.show()

Продуктовая воронка с учётом последовательности событий:
Авторизовались: 2604
Просмотрели карточку товара: 959
Открыли корзину: 49
Оплатили: 0


result_rst_b = result_rst[result_rst['group'] == 'B']
product_funnel = result_rst_b.pivot_table(
    index='user_id', columns='event_name', values='event_dt', aggfunc='min'
) 
step_1 = ~product_funnel['login'].isna()
step_2 = step_1 & (product_funnel['product_page'] > product_funnel['login'])
step_3 = step_2 & (product_funnel['product_cart'] > product_funnel['product_page'])
step_4 = step_3 & (product_funnel['purchase'] > product_funnel['product_cart'])

n_login = product_funnel[step_1].shape[0]
n_product_page = product_funnel[step_2].shape[0]
n_product_cart = product_funnel[step_3].shape[0]
n_purchase = product_funnel[step_4].shape[0]
print('\033[1mПродуктовая воронка с учётом последовательности событий:\033[0m')
print('Авторизовались:', n_login)
print('Просмотрели карточку товара:', n_product_page)
print('Открыли корзину:', n_product_cart)
print('Оплатили:', n_purchase)

fig = go.Figure(
    go.Funnel(
        y=[
            'Авторизовались',
            'Просмотрели карточку товара',
            'Открыли корзину',
            'Оплатили',
        ],
        x=[n_login, n_product_page, n_product_cart, n_purchase],
    )
)
fig.update_layout(title='Продуктовая воронка с учётом последовательности событий', title_x = 0.5)
fig.show()

Продуктовая воронка с учётом последовательности событий:
Авторизовались: 876
Просмотрели карточку товара: 264
Открыли корзину: 23
Оплатили: 1


def stat_test(successes, trials, alpha, n_tests, event_name):
    # применим поправку Бонферрони
    alpha = alpha/n_tests # критический уровень статистической значимости

    # пропорция успехов в первой группе:
    p1 = successes[0]/trials[0]

    # пропорция успехов во второй группе:
    p2 = successes[1]/trials[1]

    # пропорция успехов в комбинированном датасете:
    p_combined = (successes[0] + successes[1]) / (trials[0] + trials[1])

    # разница пропорций в датасетах
    difference = p1 - p2 
    
    # считаем статистику в ст.отклонениях стандартного нормального распределения
    z_value = difference / mth.sqrt(p_combined * (1 - p_combined) * (1/trials[0] + 1/trials[1]))

    # задаем стандартное нормальное распределение (среднее 0, ст.отклонение 1)
    distr = st.norm(0, 1)  
    
    p_value = (1 - distr.cdf(abs(z_value))) * 2
    
    print('\033[1m' + 'Результаты теста для события', event_name + ':\033[0m')
    print('Общее кол-во пользователей в группе А:', trials[0])
    print('Кол-во пользователей в группе А совершивших действие',event_name, ':', successes[0])
    print('Конверсия в группе А:{:.2%}'.format(successes[0]/trials[0]))
    print('Общее кол-во пользователей в группе B:', trials[1])
    print('Кол-во пользователей в группе B совершивших действие',event_name, ':', successes[1])
    print('Конверсия в группе B:{:.2%}'.format(successes[1]/trials[1]))
    
    print('p-alpha: ', alpha)
    print('p-значение: ', p_value)

    if p_value < alpha:
        print('Для события', event_name, ': отвергаем нулевую гипотезу, между долями есть значимая разница')
    else:
        print(
            'Для события', event_name, 'не получилось отвергнуть нулевую гипотезу, нет оснований считать доли разными'
        ) 
    print()
    return



list_event = ['product_page', 'product_cart', 'purchase']
for elem in list_event:
     stat_test(  ([result_rst[(result_rst['group']=='A') & 
                                         (result_rst['event_name']==elem)]['user_id'].nunique() , 
                   result_rst[(result_rst['group']=='B') & 
                                         (result_rst['event_name']==elem)]['user_id'].nunique()]
                  ),
                  [result_rst[result_rst['group']=='A']['user_id'].nunique(), 
                   result_rst[result_rst['group']=='B']['user_id'].nunique()],
                  0.05,
                  3, # применим поправку Бонферрони
                  elem
              )

Результаты теста для события product_page:
Общее кол-во пользователей в группе А: 2604
Кол-во пользователей в группе А совершивших действие product_page : 1685
Конверсия в группе А:64.71%
Общее кол-во пользователей в группе B: 877
Кол-во пользователей в группе B совершивших действие product_page : 493
Конверсия в группе B:56.21%
p-alpha:  0.016666666666666666
p-значение:  6.942739359416805e-06
Для события product_page : отвергаем нулевую гипотезу, между долями есть значимая разница

Результаты теста для события product_cart:
Общее кол-во пользователей в группе А: 2604
Кол-во пользователей в группе А совершивших действие product_cart : 782
Конверсия в группе А:30.03%
Общее кол-во пользователей в группе B: 877
Кол-во пользователей в группе B совершивших действие product_cart : 244
Конверсия в группе B:27.82%
p-alpha:  0.016666666666666666
p-значение:  0.21469192029582396
Для события product_cart не получилось отвергнуть нулевую гипотезу, нет оснований считать доли разными

Результаты теста для события purchase:
Общее кол-во пользователей в группе А: 2604
Кол-во пользователей в группе А совершивших действие purchase : 833
Конверсия в группе А:31.99%
Общее кол-во пользователей в группе B: 877
Кол-во пользователей в группе B совершивших действие purchase : 249
Конверсия в группе B:28.39%
p-alpha:  0.016666666666666666
p-значение:  0.04652482738393027
Для события purchase не получилось отвергнуть нулевую гипотезу, нет оснований считать доли разными

	name	regions	start_dt	finish_dt
0	Christmas&New Year Promo	EU, N.America	2020-12-25	2021-01-03
1	St. Valentine's Day Giveaway	EU, CIS, APAC, N.America	2020-02-14	2020-02-16
2	St. Patric's Day Promo	EU, N.America	2020-03-17	2020-03-19
3	Easter Promo	EU, CIS, APAC, N.America	2020-04-12	2020-04-19
4	4th of July Promo	N.America	2020-07-04	2020-07-11
5	Black Friday Ads Campaign	EU, CIS, APAC, N.America	2020-11-26	2020-12-01
6	Chinese New Year Promo	APAC	2020-01-25	2020-02-07
7	Labor day (May 1st) Ads Campaign	EU, CIS, APAC	2020-05-01	2020-05-03
8	International Women's Day Promo	EU, CIS, APAC	2020-03-08	2020-03-10
9	Victory Day CIS (May 9th) Event	CIS	2020-05-09	2020-05-11
10	CIS New Year Gift Lottery	CIS	2020-12-30	2021-01-07
11	Dragon Boat Festival Giveaway	APAC	2020-06-25	2020-07-01
12	Single's Day Gift Promo	APAC	2020-11-11	2020-11-12
13	Chinese Moon Festival	APAC	2020-10-01	2020-10-07

	user_id	event_dt	event_name	details	event_date
0	E1BDDCE0DAFA2679	2020-12-07 20:22:03	purchase	99.99	2020-12-07
1	7B6452F081F49504	2020-12-07 09:22:53	purchase	9.99	2020-12-07
2	9CD9F34546DF254C	2020-12-07 12:59:29	purchase	4.99	2020-12-07
3	96F27A054B191457	2020-12-07 04:02:40	purchase	4.99	2020-12-07
4	1FD7660FDF94CA1F	2020-12-07 10:15:09	purchase	4.99	2020-12-07
5	831887FE7F2D6CBA	2020-12-07 06:50:29	purchase	4.99	2020-12-07
6	6B2F726BFD5F8220	2020-12-07 11:27:42	purchase	4.99	2020-12-07
7	BEB37715AACF53B0	2020-12-07 04:26:15	purchase	4.99	2020-12-07
8	B5FA27F582227197	2020-12-07 01:46:37	purchase	4.99	2020-12-07
9	A92195E3CFB83DBD	2020-12-07 00:32:07	purchase	4.99	2020-12-07

	name	regions	start_dt	finish_dt
0	Christmas&New Year Promo	EU, N.America	2020-12-25	2021-01-03
10	CIS New Year Gift Lottery	CIS	2020-12-30	2021-01-07

	user_id	first_dt	region	event_dt	event_date	event_name	group	ab_test	14_date	device
0	D72A72121175D8BE	2020-12-07	EU	2020-12-07 21:52:10	2020-12-07	product_page	A	recommender_system_test	2020-12-21	PC
1	D72A72121175D8BE	2020-12-07	EU	2020-12-07 21:52:07	2020-12-07	login	A	recommender_system_test	2020-12-21	PC
146	DD4352CDCF8C3D57	2020-12-07	EU	2020-12-07 15:32:54	2020-12-07	product_page	B	recommender_system_test	2020-12-21	Android
148	DD4352CDCF8C3D57	2020-12-07	EU	2020-12-08 08:29:31	2020-12-08	product_page	B	recommender_system_test	2020-12-21	Android
150	DD4352CDCF8C3D57	2020-12-07	EU	2020-12-10 18:18:27	2020-12-10	product_page	B	recommender_system_test	2020-12-21	Android
...	...	...	...	...	...	...	...	...	...	...
449812	0416B34D35C8C8B8	2020-12-20	EU	2020-12-21 22:28:29	2020-12-21	product_page	A	recommender_system_test	2021-01-03	Android
449813	0416B34D35C8C8B8	2020-12-20	EU	2020-12-24 09:12:51	2020-12-24	product_page	A	recommender_system_test	2021-01-03	Android
449814	0416B34D35C8C8B8	2020-12-20	EU	2020-12-20 20:58:25	2020-12-20	login	A	recommender_system_test	2021-01-03	Android
449815	0416B34D35C8C8B8	2020-12-20	EU	2020-12-21 22:28:29	2020-12-21	login	A	recommender_system_test	2021-01-03	Android
449816	0416B34D35C8C8B8	2020-12-20	EU	2020-12-24 09:12:49	2020-12-24	login	A	recommender_system_test	2021-01-03	Android

	user_id	first_dt	region	event_dt	event_date	event_name	group	ab_test	14_date	device
0	D72A72121175D8BE	2020-12-07	EU	2020-12-07 21:52:10	2020-12-07	product_page	A	recommender_system_test	2020-12-21	PC
1	D72A72121175D8BE	2020-12-07	EU	2020-12-07 21:52:07	2020-12-07	login	A	recommender_system_test	2020-12-21	PC
146	DD4352CDCF8C3D57	2020-12-07	EU	2020-12-07 15:32:54	2020-12-07	product_page	B	recommender_system_test	2020-12-21	Android
148	DD4352CDCF8C3D57	2020-12-07	EU	2020-12-08 08:29:31	2020-12-08	product_page	B	recommender_system_test	2020-12-21	Android
150	DD4352CDCF8C3D57	2020-12-07	EU	2020-12-10 18:18:27	2020-12-10	product_page	B	recommender_system_test	2020-12-21	Android
...	...	...	...	...	...	...	...	...	...	...
449812	0416B34D35C8C8B8	2020-12-20	EU	2020-12-21 22:28:29	2020-12-21	product_page	A	recommender_system_test	2021-01-03	Android
449813	0416B34D35C8C8B8	2020-12-20	EU	2020-12-24 09:12:51	2020-12-24	product_page	A	recommender_system_test	2021-01-03	Android
449814	0416B34D35C8C8B8	2020-12-20	EU	2020-12-20 20:58:25	2020-12-20	login	A	recommender_system_test	2021-01-03	Android
449815	0416B34D35C8C8B8	2020-12-20	EU	2020-12-21 22:28:29	2020-12-21	login	A	recommender_system_test	2021-01-03	Android
449816	0416B34D35C8C8B8	2020-12-20	EU	2020-12-24 09:12:49	2020-12-24	login	A	recommender_system_test	2021-01-03	Android

Проект по А/B-тестированию¶

Задачи исследования¶

Техническое задание¶

Данные¶

Цели исследования¶

План работы

1. Загрузка и предобработка

1.1. Открытие и изучение файлов с данными

Выводы:¶

2. Подготовка данных и проверка условий ТЗ

2.1 Сводная таблица

2.2 Проверка ТЗ - количество пользователей > 6000 и 15% от зарегистрированных в Европе

2.3 Добавляем в сводную таблицу условие ТЗ - 14 дней после регистрации

2.4 Проверка старта, окончания и остановки теста условиям ТЗ

2.6 Пересечение групп, маркетинговых активностей и тестов

2.6.1 Анализ совпадения теста и маркетинговых событий

Выводы:¶

2.6.2 Анализ на пересечение с тестом interface_eu_test

2.7 Итоговая таблица result_rst для исследования

Выводы:¶

Выводы по подготовке данных к исследованию¶

3. Исследовательский анализ

3.1 Исследовательский анализ количество пользователей по группам А и В

3.2 Исследовательский анализ распределения пользователей по девайсам

Выводы:¶

3.3. Исследовательский анализ, количество событий совершаемых пользователями

3.4. Анализ распределения количества событий на пользователя

Выводы:¶

3.5. Динамика распределения событий по дням, Анализ

3.5. Воронки событий

3.5.1 Простая продуктовая воронка

Выводы:¶

3.6.2 Продуктовая воронка с учётом последовательности событий

Выводы:¶

Выводы:¶

4. Статистический анализ

4.1 Проверка статистической разницы долей z-критерием

Выводы по статистическому анализу¶

5. Выводы и рекомендации

	user_id	group	ab_test
0	D1ABA3E2887B6A73	A	recommender_system_test
1	A7A3664BD6242119	A	recommender_system_test
2	DABC14FDDFADD29E	A	recommender_system_test
3	04988C5DF189632E	A	recommender_system_test
4	482F14783456D21B	B	recommender_system_test
5	4FF2998A348C484F	A	recommender_system_test
6	7473E0943673C09E	A	recommender_system_test
7	C46FE336D240A054	A	recommender_system_test
8	92CB588012C10D3D	A	recommender_system_test
9	057AB296296C7FC0	B	recommender_system_test

	ab_test	count_unique	share_%
0	interface_eu_test	4977	17.82
1	recommender_system_test	2604	34.06

	ab_test	count_unique	share_%
0	interface_eu_test	4869	18.01
1	recommender_system_test	877	100.00

	count	percent
device
Android	1544	44.355070
PC	901	25.883367
iPhone	707	20.310256
Mac	329	9.451307

	percent	percent_A	percent_B
device
Android	44.0	44.0	46.0
PC	26.0	26.0	24.0
iPhone	20.0	20.0	21.0
Mac	9.0	10.0	8.0

	user_id
event_name
login	3480
product_page	2178
purchase	1082
product_cart	1026